StreamSets：MySQL Binary Log

 MySQL Binary Log Origin通过MySQL服务器提供的binary logs处理CDC。
       MySQL Binary Log Origin充当MySQL复制的从服务器。MySQL复制允许您通过将数据从主服务器复制到从服务器来维护MySQL数据的多个副本。origin使用复制过程从MySQL主数据库捕获更改，然后将更改的数据传递到数据收集器管道。
       Origin可以从启用或禁用全局事务标识符(GTID)的MySQL服务器处理binary logs。GTID是分配给MySQL服务器数据库中发生的每个事务的惟一事务ID。
       MySQL Binary Log只处理变化数据。它为INSERT、UPDATE、和DELETE操作创建记录。它为binary logs中记录的每个更改生成一条记录。
       生成的记录包括CDC信息字段的映射。它还在记录头属性中包含CRUD操作类型，这样生成的记录可以由启用CRUD的destinations轻松处理。
       如果需要的话，可以在使用MySQL Binary Log Origin启动pipeline之前，在单独的pipeline中使用JDBC Multitable Consumer或JDBC Query Consumer从MySQL数据库读取现有数据。必要时，还应该配置MySQL Binary Log pipeline来修改生成的记录。
       在配置origin之前，必须完成几个先决条件，其中包括（1）为MySQL服务器配置row-based logging；（2）安装JDBC驱动程序。
       在配置MySQL Binary Log时，需要配置用于读取日志文件的数据库服务器。可以配置Origin从头读取二进制日志文件，也可以指定偏移量来确定Origin从何处开始读取数据。

一.先决条件

       在读取MySQL二进制日志以生成更改数据捕获记录之前，必须完成以下先决条件:
（1）配置MySQL服务器使用row-based logging。
（2）安装MySQL JDBC Driver。

1.配置MySQL服务器使用row-based logging。

       Mysql的binlog有三种格式，分别是Statement、Row以及Mixed。下面介绍Row格式：
       Row模式下的binlog不记录sql语句上下文相关信息，仅保存哪条记录被修改。其缺点是可能会产生大量日志内容，比如一条update语句，修改多条记录，则binlog中每一条修改都会有记录，这样造成binlog日志量会很大，特别是当执行alter table之类的语句的时候，由于表结构修改，每条记录都发生改变，那么该表每一条记录都会记录到日志中。

2.安装JDBC驱动

       MySQL JDBC驱动必须位于外部目录的MySQL Binary Log子目录中。例如：/opt/sdc-extras/streamsets-datacollector-mysql-binlog-lib/lib/。

二.Initial Offset（初始偏移量）

       可以配置Origin从文件的开头或文件中的初始偏移量开始读取二进制日志文件。
       初始偏移量是二进制日志文件中希望开始处理的点。启动pipeline时，MySQL Binary Logs Origin从初始偏移量开始处理，并一直持续到停止管道。
       用于配置初始偏移量的格式取决于MySQL服务器是否启用全局事务标识符（GTID）：

GTID enabled：
MySQL Binary Logs Origin要求初始偏移量包含GTID，格式如下:

<source_id>:<transaction_id>例如：8720bebf-bb38-11e6-97b1-0242ac110004:7066

GTID disabled：
MySQL Binary Logs Origin要求初始偏移量包含二进制日志文件名和文件中的位置，格式如下：

<binary log file name>:<position>例如：
mysql-bin.000004:587

三.Generated Records（产生记录）

       MySQL Binary Logs Origin为二进制日志中记录的每个事务生成一条记录。记录包括字段和记录头属性，其中包含包含操作类型、变化数据捕获信息和变化数据。其详细格式如下：

（1）CRUD operation type
       CRUD操作存储在TYPE字段中，也包含在记录头属性的sdc.operation.type中。

（2）Change data capture information
       有以下字段：

• BinLogFilename - when GTID is disabled

• BinLogPosition- when GTID is disabled

• SeqNo - when GTID is enabled

• GTID - when GTID is enabled

• Table

• ServerId

• Database

• Timestamp

• Offset

（3）new data
       插入或更新的新数据出现在data map字段中。

（4）changed data
       被更新的老数据或删除的记录出现在olddata map字段中。

       如下图所示：

image.png

作者：阿猫阿狗Hakuna
链接：https://www.jianshu.com/p/1561ef591884